Ce donjon, dit "Tour de César", date de la fin du XIème siècle. Haut de 35 mètres avec des murs de 4 mètres d'épaisseur, il est composé de quatre étages.
Demeure seigneuriale, il était aussi le dernier retranchement défensif de la ville. Cette tour commandait les défenses de la citadelle et le pont sur la Loire.

Majestueuse forteresse du XIIème siècle édifiée par Richard Coeur de Lion, roi d'Angleterre et Duc de Normandie, elle fut construite en un an sur une colline qui domine la Seine dans la boucle des Andelys (station touristique). Chateau Gaillard a constitué véritablement la pièce maîtresse d'un vaste système de défense qui commandait l'accès de la Normandie. Lors des guerres de religions, apres deux ans de siège, Henri IV investit Chateau Gaillard et le fît démanteler.

Après la perte du Vexin normand en 1196, le roi d'Angleterre et duc de Normandie Richard Coeur de Lion voulut barrer la route de Rouen à son ennemi français, Philippe Auguste. Pour y parvenir, il sonstruisit sur la Seine à la hauteur d'Andeli un énorme complexe fortifié dont le Chateau-Gaillard constituait le coeur.

Le système mis en place par Richard Coeur de Lion dépassait de loin la seule forteresse que nous voyons aujourd'hui, et bloquait littéralement le fleuve. Sur le plateau, se trouvait un ensemble d'avant-postes et de places fortes sur mottes fossaoyées; dont la vallée, une zonemarécageuse, entre les deux bourgs fortifiés des Andelys; sur l'autre rive, un réseau de circonvolutions, et sur le fleuve enfin, barré par une île fortifiée, une machinerie de chaînes empêchait la descente des navires. Au centre, poste d'observation magistral et imprenable, le chateau Gaillard. L'ensemble avait pour vocation de verrouiller la boucle de la Seine en amont de Rouen en cas de danger. L'accès au chateau par le plateau était quant à lui protégé par la motte de Cléry.

La construction du chateau de la Roche prendra moins de 2 ans et en 1198, les travaux achevés, l'architecture originale est influencée par les chateaux syriens que Richard a connu aux croisades et s'avère très moderne pour l'époque : la muraille festonnée évite l'impact direct des projectiles sur les parois et le donjon possède un éperon à sa base dirigée vers l'attaque dans le même but.

En raison de la portée des armes de l'époque, le chateau n'a pas été élevé sur le point le plus haut. Le sol calcaire impose de creuser 3 puits de 120 mètres de profondeur mais permet aussi de creuser de nombreuses caves destinées au stockage des denrées nécessaires à la tenue des sièges.

Gisors était un point fortifié secondaire, un avant-poste, une ville frontière entre le Vexin français et le Vexin normand, dépendant du Chateau de Neaufles-Saint-Martin (environ 3 km). Nous savons aussi qu'à l'origine le chateau de Gisors était tenu par Thibaud Payen, fils de Hugues de Chaumont (Chaumont en Vexin) et que celui-ci fut chassé par Guillaume le Roux qui, en 1097, confia à l'architecte Robert de Bellesme la construction sur ce site d'une forteresse plus importante. De la fin du XIème siècle, il ne reste actuellement que la motte artificielle.

Pendant le XIIème siècle, la Normandie étant devenue anglaise, rois de France et d'Angleterre se sont échangés cette place forte à plusieurs reprises. Ainsi le donjon d'origine, vraisemblablement de plan carré, a été repris en partie dans le dojon octogonal reconstruit en 1124 sous Henri Ier Beauclerc après que Thibaud Payen tentant en 1123 de reconquérir Gisors ait incendié le chateau. On reconnaît d'ailleurs des fragments de ce premier donjon dans les parties nord de l'actuel.

Henri Ier Beauclerc fait donc construire le rez de chaussée et le 1er étage de ce donjon. Cela se distingue dans le petit appareil dde blocage irrégulier très différent de l'appareil régulier et en belle pierre taillée des 2 étages ajoutés par Henri II Plantagenêt.

A l'origine, on accédait à ce dojon côté nord par une "passerelle" provisoire en bois que l'on brisait facilement, compliquant ainsi l'ascension de la motte pour l'ennemi qui, posté au pied de celle-ci devenait une proie très vulnérable.

Un peu plus tard, HenriIer fit élever la partie ouest de l'enceinte, Henri II achevant les parties nord et est, prefectionnées par la suite.

De 1145 à 1161, le chateau revint au roi de France Louis VII, qui semble s'être contenté de l'entretenir sans y ajouter quelques modifications que ce soit.

De 1158 à 1161, Louis VII confia la surveillance de la forteresse aux Templiers et en 1161, Henri II Platagenêt le récupéra par subterfuge à l'insu du roi de France.

Jusqu'en 1184, Henri II ne cessa ainsi de fortifier le donjon et les remparts qui le protégeaient.

En 1193, profitant de la captivité de Richard Coeur de Lion, Philippe-Auguste se fit livrer le chateau par le capitaine Gilbert de Vascoeuil. Sans attendre le retour de son adversaire, il entreprit de gros travaux : construction de la Tour dit "du Prisonnier", remplacement de la Tour du Gouverneur dont il double la porte et à laquelle il ajoute une tout ronde : la Tour Blanche.

Le premier chateau fort de Montrichard a été construit au début du XIème siècle par le Comte d'Anjou Foulques Nerra. Il lui servait de point d'appui dans la lutte qu'il menait contre les Comtes de Blois. Le premier fidèle à qui il en attribua la garde est Roger le Diable Seigneur de Montrésor.

En 1109 Hugues d'Amboise, s'empare de Montrichard et du chateau, il développe la forteresse et ce sont les restes de celle-ci que nous voyons maintenant.
En 1188 le Roi de France Philippe Auguste fait le siège et enlève le chateau, celui-ci est alors partiellement détruit.
C'est dans le chateau qu'a été célèbré le mariage de Jeanne de France, la fille de Louis XI, avec Louis d'Orléans (le futur Louis XII).
Pendant les Guerres de Religion, en septembre 1589, le chateau et la ville sont prises par le Ligueur Catholique Claude de Marolles, mais ceux-ci se rendent rapidement au Marquis de Souvré, un fidèle du Roi Henri IV.

La Seigneurie de Montrichard est revenue à la famille des Seigneurs d'Amboise au début du XIIème siècle. Au XIème siècle ces Seigneurs étaient des fidèles du Comte d'Anjou chargés de la défense de ses intérets dans la région. Mais au XIIème siécle ils se rendirent autonomes et se trouvèrent en conflit avec tous leurs voisins. Montrichard était alors un de leurs points forts.

A la fin du Moyen Age, en 1448, Louis II d'Amboise vendit la Seigneurie de Montrichard à Perrenelle d'Amboise et à son mari Guillaume d'Harcourt. En 1461 le Roi de France Louis XI échangea, avec Guillaume d'Harcourt, Montrichard contre les Seigneuries de Gournay et de la Ferté en Bray. En 1585 Philippe Hurault, Chancelier de France et Comte de Cheverny, achète la terre de Montrichard. Son fils Louis, Comte de Limours, lui succède. Au XVIIème siècle la Seigneurie passa ensuite à Antoine Ruzé, Marquis d'Effiat et premier écuyer du Duc d'Orléans.